Dari Persekutuan Australia pada tahun 1901, Rumah Kerajaan New South Wales di Farm Cove digunakan sebagai kediaman Sydney Gabenor-Jeneral. Pada tahun 1912, Kerajaan New South Wales memutuskan untuk meletakkan bangunan itu untuk tujuan awam sekali lagi, meninggalkan Gabenor Jeneral pada masa itu, Lord Denman, tanpa kediaman Sydney.

Dengan pemergian Laksamana British terakhir dari Admiralty House pada tahun berikutnya, Admiralty menyerahkan rumah itu kembali ke Kerajaan New South Wales. Ini memberikan penerus Lord Denman, Sir Ronald Munro Ferguson, dengan kediaman Sydney. Admiralty House adalah kediaman Gabenor Jeneral untuk lima belas tahun berikut.

Pada tahun 1930, semasa Great Depression, Kerajaan Scullin mempunyai Admiralty House ditutup, dan kandungannya dijual di Lelong pada tahun 1931.

Gabenor Jeneral Sir Isaac Isaacs, yang dilantik pada tahun 1931, adalah Gabenor Jeneral pertama yang tinggal secara kekal di Yarralumla, di Canberra. Semasa tempohnya, Admiralty House kekal kosong dan diabaikan. Sir Isaac menyifatkannya pada tahun 1934 sebagai "dilucuti glamornya, tanpa perabot tetapi beberapa cermin halus, tamannya liar dan ditumbuhi". Pada tahun 1936, Negeri New South Wales membuka semula Admiralty House sebagai kediaman Sydney untuk Gabenor Jeneral yang baru, Lord Gowrie. Rumah ini telah digunakan sejak penubuhan naib baik.

Tajuk rasmi kepada Admiralty House akhirnya diluluskan oleh Kerajaan Negeri kepada Komanwel oleh geran Mahkota pada tahun 1948, dengan syarat rumah itu hanya akan digunakan sebagai kediaman bagi Gabenor Jeneral.